Sinh ra tại Dinan, thuộc Brittany, con trai một người thợ đóng tủ, Auguste Pavie không có được những tố chất của một nhà ngoại giao. Ông không được đào tạo để trở thành sĩ quan hoặc trong các trường đại học lớn. Thay vào đó, ông bị cuốn hút bởi viễn cảnh được phiêu lưu mạo hiểm nơi viễn xứ, ông gia nhập quân đội năm 1864 khi mới 17 tuổi.[2]Năm 1869, ông bị điều sang Nam kỳ cùng lực lượng Hải quân đánh bộ. Tới năm sau, ông bị gọi trở lại Pháp để thực hiện nghĩa vụ quân sự trong cuộc Chiến tranh Pháp-Phổ, và được phong hàm thượng sỹ (sergeant-major). Năm 1871 ông quay lại Nam kỳ phục vụ trong chính quyền ngạch bưu chính viễn thông, và gần như ngay tức khắc được phân nhiệm vụ trưởng một trạm điện báo nhỏ ở xứ Cambodia hẻo lánh, nơi cảng Kampot, và phục vụ tại đó trong một thập niên.[2]

Nhiệm sở tại Kampot mang lại cho Pavie cơ hội hiểu biết sâu sắc về người Đông Dương, văn hóa và ngôn ngữ của họ.[2][4] Là một trong số rất ít người Âu sống tại khu định cư bên bờ sông Kampot dưới rặng núi Voi, ông "trở thành người bản xứ", nói thành thạo tiếng Campuchia, đi chân đất, đội một cái mũ rộng vành, khám phá đường đi lối lại tại các vùng xa xôi ở Campuchia, ghi chép tất cả những gì mà ông thấy thú vị. Các hành vi của Pavie mang lại những phản ứng khác nhau: việc ông hòa mình vào cuộc sống của người Campuchia bị các viên chức Pháp ở Nam kỳ chỉ trích;[5] tuy nhiên, một sĩ quan Pháp khi đó đã nhận xét: "bên dưới cái vẻ ngoài yếu đuối, là cả một kho tàng tri thức hoạt động với một nguồn năng lực và sức mạnh ý chí có một không hai."[4] Thời kỳ này, ông chỉ đạo việc xây dựng tuyến điện báo giữa Phnom Penh và Kampot.[2]